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PROCEDE DE ET DE DECODAGE D' IMAGES , DISPOSITIFS , 
ET APPLICATIONS CORRESPONDANTS 

Le domaine technique de rinvention est celui du codage a reduction de 
debit des sequences d'images animees, video notamment. 
5 Les applications du codage video sont particulierement nombreuses. 

Citons de maniere non exclusive : 

- La transmission de la TV numerique ; 

- La txansniission video en temps reel sur diff erents types de reseaux : 
IP, mobiles, ("Streaming BP") ; 

10 - Le stockage informatique de videos. 

L'invention s' applique notamment dans le cadre de systemes mettant en 
oeuvre un codage de type MPEG.Par codage de type MPEG, on entend un codage 
base sur une prediction temporelle et une transformation en cosinus discrete basee 
sur une structure de blocs rigides, souvent de taille fixe, mais eventuellement de 

15 taille variable. Les 2 standards representatifs pour cette famille de codages sont les 

normes MPEG-4 de la version 1 a 4 et ITU-T/H.263 jusqu'a la version 2, 
L'invention peut egalement s'appliquer dans le cadre de la reconunandation du 
CCITT H26L (voir par exemple le document VCEG-N83dl correspondant). 

Les schemas de codage et decodage video proposes a ce jour se 

20 repartissent en 2 categories : 

- Les codages normalises, soit par IISO/MPEG, soit par riTU-T, tons 
bases sur le meme type de techniques (prediction temporelle et une 
transfoOTiation en cosinus discrete bas6es sur une structure de blocs) 

- Les codages en cours de developpement proposes par des laboratoires 
25 de recherche, qui font appel a un large panel de techniques : Codage 

par Ondelettes, par Regions, par Fractales, par Maillages, etc. 
Actuellement, le codage MPEG-4 est considere comme I'etat de I'art non 
seulement des codages normalises, mais aussi de Tensemble des codages publics. 

Les codages de type MPEG-4 ou ITU-T/H.263++ sont consideres conune 
30 ayant atteint leurs limites, notamment a cause de la structure de blocs rigides de 
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taille fixe utilisee coxrune support de Tensemble des calculs et operations de 
codage. En particulier, la prediction temporelle des images au sein d'une sequence 
est insujffisamment exploitee. 

Par ailleurs, les codages altematifs publics n'ont pas encore atteint un 
5 degre suffisant d'optimisation. 

Ainsi, pour permettre d'obtenir des sequences videos codecs a bas debit, 
les codeurs procedent en general a une reduction de la taille des images et au sous- 
echantillonnage temporel de la sequence video originale. Toutefois, la seconde 
• technique a pour inconvenient de restituer des mouvements saccades plus ou 
10 moins genants pour I'utilisateur en fonction du niveau de sous-echantillonnage. 

Pour eviter de telles saccades, il importe de reconstruire les images 
manquantes (non codecs) au decodeur par interpolation temporelle. 

Cependant, les techniques actuelles d' interpolation temporelle d' images ne 
permettent pas d'obtenir de resultats satisfaisants, surtout lorsqu'elles sont mises 
15 en oeuvre au seul decodeur. En effet, ces techniques sont la source d' artefacts 
visuels lies aux techniques de compensation de mouvement basees blocs qui ne 
definissent qu'un seul vecteur mouvement pour I'ensemble des pixels d'un bloc. 

L'objectif de I'invention est precisement de pallier les limitations des 
techniques anterieures. 

20 Plus precisement, un objectif de I'invention est de f oumir une technique de 

codage, et de decodage, de donnees d'images, qui permette d'obtenir un d6bit 
reduit et/ou une meilleure qualite d'image reconstruite, par rapport aux techniques 
connues. 

Get objectif est atteint, selon Tinvention, a I'aide d'un precede de codage 
25 d'images, mettant en oeuvre selectivement au rnoins deux modes de codage 
d'images, optimisant chacun la compression d'au moins une image d'une sequence 
video en fonction de criteres d'optimisation differents. 

Selon plusieurs modes de realisation avantageux, une information sur le 
choix d'un desdits modes de codage peut etre connue d'un decodeur selon au 
30 moins une des techniques appartenant au groupe comprenant : 
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choix predefini, connu au codage et au decodage ; 
information representative du choix incluse dans un flux de 
donnees comprenant au moins certaines des donnees d'images 
codees ; 

5 - information representative du choix incluse dans un flux de 

donnees independant des donnees d'images codees ; 
determination du choix de f agon intrinseque, par le decodeur. 
Avantageusement, le procede comprend une etape de selection d'un mode 
de codage a appliquer a ladite image, parmi aii moins : 
10 - un premier codage optimisant une representation photometrique 

d'une image ; 

un second codage optimisant une representation du mouvement 
entre au moins deux images. 
Ainsi, la presente invention conceme un nouveau procede de codage video 
15 par hybridation d*un codage notamment de type MPEG et d'un codage par 
interpolation temporelle basee sur une representation par maillages, ainsi que le 
procede de decodage et la stmcture de la representation binaire associee. 

Preferentiellement, ledit second codage tient compte d'au moins une image 
precedente et/ou au moins une image suivante codec a Taide dudit premier 
20 codage. 

De fagon avantageuse, ledit second codage tient compte d'un champ de 
vecteurs mouvement calcule a partir de Timage inamediatement precedente codec 
a Taide dudit premier codage et/ou d'un champ de vecteurs mouvement calculi a 
partir de Timage inomediatement suivante codec k Taide dudit prenaier codage. 
25 Avantageusement, ces champs de vecteurs sont appliques a un maillage. 

Dans ce cas, lesdits champs de vecteurs mouvement peuvent etre utilises 
pour determiner un champ de vecteurs mouvement deduit, associe a une image 
codee a Taide dudit second codage. 

Selon un mode de realisation preferential de Vinvention, ladite etape de 
30 selection repose sur la mise en oeuvre d'un sous-6chantillonnage de facteur fixe N, 
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une image sur N etant codec & Taide dudit preixiier codage. 

Avantageusement, cette valeur N est variable, en fonction d'au moins un 
critere predetermine. 

Selon un mode de realisation particulier, ledit premier codage met en 
5 oeuvre une transformation sur des blocs dlmages et une prediction temporelle par 
blocs. Cette transformation est par exemple du type DCT, transformation de 
Hadamard, transformation en ondelettes,... 

On notera que les blocs d' images ne sont pas forcement carres, mais 
peuvent prendre toute forme adaptee aux besoins et aux moyens disponibles. 
10 Ce premier codage peut notamment etre d'un codage MPEG-4 ou H26L. 

Dans ce dernier cas, on utilisera preferentiellement des images de type I 
(intra) et/ou de type P (predictif) (et non, preferentiellement, des images de type 
B). 

Selon un autre aspect particulier de Tinvention, ledit second codage repose 
15 avantageusement sur la mise en oeuvre d'un maillage hierarchique de M niveaux, 

M etant superieur ou egal a 1, et par exemple un maillage triangulaire. 

Dans ce cas, le procede comprend preferentiellement une etape de gestion 
des zones d'occlusions. 

Les donnees produites peuvent etre regroupees dans un flux unique. 
20 Avantageusement, on peut prevoir au moins deux flxjx de donnees, pouvant Stre 
transmis sur des voies de transnadssion independantes. 

Lesdits flux de donn6es appartiennent avantageusement au groupe 
compnenant : 

une entSte globale ; 

25 - des donnees dim^^e codees selon ledit premier codage ; 

des donnees dimage codecs selon ledit second codage. 

La transnaission des flux peut done avoir lieu de fagon independante. Cela 
permet notamment un decodage progressif et/ou partiel des images, en fonction 
des moyens et des besoins. 
30 Ainsi, selon un mode de realisation particulier de Tinvention, on exploite 
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notamment Jes aspects suivants : 

Optimisation pouss^e des modules constitutifs des codages 
normalises de type MPEG ou ITU-T/H.263 

Prediction temporelle et codage d'erreur associe performants pour 
les techniques basees maillage. 
En effet, Tapproche basee maillage permet d'eviter les effets de bloc 
habituels grace a I'utilisation de champs de mouvement continus. De plus, la 
technique des maillages permet de detecter les occultations « d'objets », ainsi 
qu'un codage de retreur bien adapte a ces zones. En combinant de plus un codage 
d'erreur de type MPEG autour de ces zones, 11 est possible d'ameliorer 
sensiblement Tefficacite de I'interpolation a un cout largement inferieur aux 
images bidirectionnelles (images de type B) proposees par MPEG. 

Ainsi, on peut coder efficacement Tinformation de base a une faible 
resolution temporelle grace au codage de type MPEG, avec une bonne qualite, 
puis restituer la pleine fluidite de la sequence grace au codage en mode interpole 
par maillage. 

L'invention conceme egalement, bien sur : 

les procedes de decodage d'un signal damages code a Taide du 
procede de codage decrit ci-dessus ; 

les dispositifs de codage d'un signal d'images code a Taide du 
procede de codage decrit ci-dessus ; 

les dispositifs de decodage d'un signal d'images code a Taide du 

procede de codage decrit ci-dessus (comprenant avantageusement 

des moyens de determination d*au moins une partie d'un champ de 

vecteurs et/ou d'au moins une partie des zones d'occlusion, 

similaires a ceux mis en oeuvre lors du codage) ; 

les dispositifs de stockage d'au moins un signal d'images code a 

I'aide du procede de codage decrit ci-dessus ; 

les systemes de codage, de transmission et/ou de decodage d'un 

signal damages code a I'aide du procede de codage decrit ci-dessus 
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(le choix d'un desdits modes de codage pouvant avantageusement 
Stre connue dW decodeur selon au moins une des techniques 
appartenant au groupe comprenant : 

choix predefini, connu au codage at au decodage ; 

information representative du choix incluse dans un flux de 

donnees comprenant au moins certaines des donnees 

d'images codecs ; 

information representative du choix incluse dans un flux de 
donnees independant des donnees damages codecs ; 
determination du choix de fa9on intrinseque, par le 
decodeur) ; 

les produits programme d'ordinateur pour le codage et/ou le 
decodage rfun signal d'images code a I'aide du precede de codage ; 
les supports de donnees d'un tel programme. 
L*invention concerne egalement les signaux de donnees d'images 
comprenant des donnees codecs selon le procede decrit ci-dessus. 

Avantageusement, ce signal comprend au moins un indicateur indiquant si 
le procede est ou non active. 

De fagon preferentielle, le signal comprend une donnee precisant la 
structure des trames, en debut de sequence video et/ou dans chaque trame de 
signal. 

Avantageusement, une sequence codec a I'aide dudit second codage debute 
par une entSte precisant le nombre de trames codecs selon ce second codage, 

Selon un mode de realisation particulier, le signal comprend au moins 
deux flux de donnees, pouvant etre transmis sur des voies de transmission 
independantes. 

Dans ce cas, lesdits flux de donnees appartiennent avantageusement au 
groupe comprenant : 

une entete globale ; 

des donnees d'image codecs selon ledit premier codage ; 
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des donnees d'image codecs selon ledit second codage. 
L'invention trouve des applications dans de nombreux domaines, et 
notamment dans les domaines appartenant au groupe comprenant : 
la television numerique ; 
la video temps reel sur reseau IP ; 
la video temps reel sur reseau vers les mobiles ; 
le stockage de donnees d'images. 
D'autres caracteristiques et avantages de Tinvention apparaitront plus 
clairement a la lecture de la description d'un mode de realisation preferentiel de 
Tinvention, donne a titre de simple exemple illustratif et non limitatif, et des 
dessins annexes parmi lesquels : 

la figure 1 est un schema de principe du codage de I'invention ; 

la figure 2 presente un exemple de structure de maillage 

hierarchique pour le mouvement ; 

la figure 3 illustre le principe de Tinterpolation affine sur une maille 
triangulaire ; 

la figure 4 est un exemple d'occultation detectee par recouvrement 
de triangles ; 

la figure 5 illustre le processus de transformation d'un triangle 
quelconque de Timage en une matrice carree symetrique ; 
la figure 6 illustre la transformation d'un triangle quelconque en un 
triangle isocele rectangle ; 

la figure 7 illustre un maillage hierarchique et la representation par 
arbre quatemaire associee ; 

la figure 8 est un exemple de decision de codage pour le maillage 
hierarchique ; 

la figure 9 presente une structure globale d'un train binaire selon 
I'invention ; 

la figure 10 presente un diagramme bloc d'un decodeur selon 
I'invention. 



wo 02/060184 



8 



PCT/FR02/00322 



Le mode de realisation de Tinvention decrit ci-apres consiste 
essentiellement en Thybridation tfun codage de type MPEG, par exemple MPEG- 
4 avec un codage pax maillage fonctionnant en naode interpole, appele egalement 
mode B ou images B dans les nonnes MPEG. 
5 Notons que le codage MPEG-4 mentionne ici peut etre remplace par tout 

codeur base sur des techniques equivalentes, c'est-a-dire utilisant une prediction 
temporelle et une transformation en cosinus discrete basees sur une structure de 
blocs, et les quantifications et codages entropiques pour les informations generees. 
En particulier, un codage ITU-T/H.263++ peut etre substitue au codage MPEG-4. 
10 Pour chaque image de la sequence entrant dans le codeur, ce demier 

decide en fonction d'un certain processus de decision (par exemple, un sous- 
echantillonnage temporel de facteur fix6) de la coder avec le module d'encodage 
MPEG-4, ou bien avec le module d'encodage base maillage. 

Les images codees en mode maillage utilisent conome references pour leur 
15 prediction temporelle les images cod6es en mode MPEG-4 situee immediatement 
avant ou immediatement apres le groupe d'images codees en mode maillage 
auquel elles appartiennent 

Le point cle de Tefficacite en compression de I'invention est que la 
compensation de mouvement basee maillage conduit a une prediction temporelle 
20 tres performante, pour un cout de codage associee tres faible. 

En effet, cette technique : 

- Prend en compte diff erents types de mouvements dans les images 

- Traite proprement les recouvrements et decouvrements de zones dus 
aux mouvements d'objets. 

25 La figure 1 donne une vue gendrale du principe du codeur. 

Tout d'abord, les images entrantes sont aiguillees soit vers le module 
d'encodage MPEG, soit vers le module d'encodage base maillage, selon un mode 
de decision donne, par exemple selon un rythme predefini : 1 image sur N est 
codee en MPEG, les autres en mode interpole maillage. On note Nj, les numeros 

30 des images codees en mode MPEG. 
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Toutes les autres images Ij, Nk<l<Nk4.i, sont encodees par un encodeur base 
sur un maillage, par example triangulaire, fonctionnant en mode interpole dit 
mode B. le principe general de cet encodeur est le suivant : 

1. Calcul des champs de mouvement avant et arriere entre les images 
Nj, et Ces champs sont modelises sous forme de maillages, 
triangulaires. 

2a. Estimation des zones predictibles : lors de 1' interpolation, on 
estime le mouvement entre It et It'. Si F application des vecteurs 
mouvements ne conduit a aucun retoumement (ce qui signifie que 
Ton est en presence d'une zone predictible), on realise une 
compensation de mouvement en ponderant les vecteurs par un 
scalaire k (0 < k < 1) de manidre a interpoler It+k avec t-i-k 
appartenant a ]t, t'[. Trois approches sont envisageables pour la 
compensation de mouvement. EUes sont decrites par la suite ; 

2b. Estimation des zones non pr6dictibles :Detection des zones 
d'occultation, non predictibles, dans les images II a coder, a partir 
de la connaissance de ces champs de mouvement 

3. Codage specif ique de ces zones d'occultation selon Tun des trois 
modes possibles suivants : 

- Prediction avec Tune des images de reference (Nj,, Nk+i, ou 
ces images compensees en mouvement avec leurs champs 
de mouvement) sans compensation de mouvement, puis 
codage de Terreur de prediction avec une technique basee 
maillage triangulaire 

- Prediction avec Tune des images de reference (N^, N^+i, ou 
ces images compensees en mouvement avec leurs champs 
de mouvement) avec compensation de mouvement intra- 
image, puis codage de Terreur de prediction avec une 
technique basee maillage triangulaire 

- Codage intra-image base avec une technique basee maillage 
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txiangulaire. 

4. Optionnellement, codage de type MPEG mode P de I'erreur 
residuelle de prediction ou de codage, liirdte a une zone autour de 

la zone d'occultation. 

5 Comme mentionne plus haut, la compensation de mouvement peut etre 

effectuee selon trois approches : avec une estimation avant, avec une estimation 
aniere ou avec une estimation avant et une estimation artiere. 
1) avec une estimation avant : 
• Lors de I'interpolation, on estime le mouvement entre et It 2. Si 
10 Tapplication des vecteurs mouvement ne conduit a aucun retoumement (ce 

qui correspond aux zones predictibles) alors on r6alise une compensation 
de mouvement en ponderant les vecteurs par un scalaire k = m/(tl+t2) 
(0<k<l) de maniere a interpoler Im avec m appartenant a [tl,t2]. On 
obtient Timage estimee El. 
15 2) avec une estimation arriere : 

Lors de Tinterpolation, on estime le mouvement entre 1^2 et Si 
Fapplication des vecteurs mouvements ne conduit a aucun ce qui 
correspond aux zones predictibles) alors on realise une compensation de 
mouvement en ponderant les vecteurs par un scalaire k' = l-m/(tl4-t2) 
20 (o<=k'<=l) de maniere a interpoler Im avec m appartenant a [tl, t2]. On 

obtient Timage estimee E2. 
3) les deux ensemble : 

Lors de I'interpolation, on estime le mouvement 1^^ et I,^ et entre It2 et 1^, Si 
Tapplication des vecteurs mouvements ne conduit a aucun retoumement 

25 (ce qui correspond aux zones predictibles), alors on realise une 

compensation de mouvement en ponderant les vecteurs "avant" par un 
scalaire k (0<=k<=l) et Ton obtient El. On fait de mSme avec les vecteurs 
"arriere" par un scalaire k' (0<=k*<=l) et on obtient E2. L'image estimde 
est alors E=aEl4-(l-a) E2 avec 0<=a<=L 

30 On prend a chaque fois moyennant 2 bits la meilleure des solutions apres 
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calcul du PSNR entre la solution estimee et Timage source associee. 

L Calcul des champs de mouvement avant et arriere entre les imag es 

Nj,.etNj^ 

Des champs de mouvement avant et arriere entre les images N^, et Nj^^i sent 
5 calcules, sous la forme de maillages hierarchiques, par exemple triangulaires, T^j, 

et T^fc+i, comme indique figure 2. 

De tels maillages sent obtenus par division de certaines mailles, par 
exemple, les mailles triangulaires sent divisees en 4 sous-triangles, en fonction 
d'un certain critere an cours du processus d' estimation du mouvement. A chaque 
10 niveau de la hierarchic, les decisions de division ou non sont prises pour chaque 

maille. Une fois ces divisions decidees, les mailles adjacentes des mailles divisees 
sont alors divisees de sorte a conserver une structure de maillage conforme. Le 
maillage initial, avant division (sommet de la hierarchic), peut etre quelconque. 

Dans Texemple de la figure 2, Testimateur de mouvement decide de diviser 
15 les triangles 3 et 8. ceci entraine la division des triangles 2, 4, 7 et 9. le processus 
est itere jusqu'a un niveau predefini de hierarchie. 

Dans le cas de maillages triangulaire, Texpression du champ de 
mouvement defini par un maillage triangulaire T est donne sur chaque triangle e 
par : 

20 d(p,D)= XX(pK, yp(x,y)ee ■ 

OU : 

• e denote Telement triangulaire de T contenant le point courant p de 
coordonn6es x et y, 

• ^er{e)] denote I'ensemble de ses trois noeuds ou sonmiets, numerotes i, j, 
25 k de positions p. , pj et , 

• (/ = hj\k) represente les coordonnees barycentriques du point p(x,y) 
dans Telement triangulaire j avec : 

(x, 7) = 0 sinon 
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Un tel modele definit un champ partout continu. De plus, il pennet un 
controle fin de la precision de representation, caracteristique essentielle pour la 
compression. 

A chaque niveau de la hierarchic de maillages, les vecteurs nodaux de 
5 mouvement sont calcules de sorte & minimiser une erreur de prediction. Differents 

estimateurs de mouvement bases maillages peuvent etre utilises, par exemple 
celui decrit dans le brevet HR n° 98 1 1227, ou PR n° 99 15568. 

Le point important est que le maillage final resulte d'un processus 
hierarchique a partir d'un maillage initial par divisions. Ce caractere hierarchique 
10 est en effet mis a profit pour le codage differentiel des vecteurs nodaux de 
mouvement entre un noeud et ses nceuds parents (les extremites de Tare sur lequel 
il a ete insere). La structure du maillage est recalculee au decodeur a partir de la 
connaissance du maillage initial, et des indicateurs de division de mailles. 

Ainsi, en fin de processus, 2 maillages de mouvement sont obtenus pour 
15 chaque groupe d*images comprises entre les images et Nk+j, utilises pour 
reconstruire Tensemble des images du groupe. 

Z Detection des zones d'occultation 

A partir de ces 2 maillages, les zones d'occultation, c'est-a-dire non 
predictibles dans I'image Nj, a partir de I'image N^+i ou vice-versa, du fait du 
20 * recouvrement ou du decouvrement d'objets, sont detectees. 

Ces zones sont simplement definies par les triangles se recouvrant, une 
fois deplaces par leurs vecteurs nodaux. 

La figure illustre la detection d'occultation base sur le recouvrement de 
triangles apres deplacement. 
25 Le codeur pent poursuivre Testimation de mouvement en desactivant les 

triangles des zones d'occultation, de maniere h obtenir des vecteurs deplacement 
moins biaises. 

Ceci est cependant strictement interne a la strategic du codeur, et au final, 
c'est 2 maillages de mouvement complets T\ et T^^^+i q^i sont codes et inseres dans 
30 le train binaire. Le decodeur est alors capable de retrouver les zones d'occultation 
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a paitir de ces 2 maillages. 

Ces zones d'occultation sont definies sur les images et Nj^+j at une fois 
detectes, les triangles leur appartenant sont etiquet6s en consequence, au codeur 
conmie au decodeur. 

5 Cependant, le codeur a besoin de connaitre ces zones sur les images Nj,+1 

a Nk+i-l. Celles-ci sont simplement obtenues par projection des maillages T^^ et 
T^^i sur I'image a coder, par application des vecteurs mouvement nodaux, 
renormalises pour tenir compte de la distance temporelle entre Timage courante et 
rimage de reference on N^^^. 
10 3, Codage des zones tfoccultation : 

Pour chaque zone d'occultation, Timage de reference pour une eventuelle 
prediction est selectionnee parmi Ij^k, Inoc+i). niais aussi Tj, qui est Timage obtenue 
a rinstant 1 par compensation de mouvement avec le maillage T\ ou T*i-+i a un 
niveau oh il n'y a pas encore de recouvrement de maille. 
15 Plus precisement, le choix entre I^j, et iNd^+i) depend simplement du 

maillage T\ ou T ayant engendre la zone courante d'occultation. Ensuite, ce 
maillage est utilise pour predire Timage et donner T^, Le choix entre 1\ et I^k ou 
Incic+i) se fait sur critere d'erreur de prediction : Fimage donnant Ferreur la plus 
faible est retenue. Ainsi, il suffit d'inserer 1 bit dans le flux binaire, par zone, pour 
20 coder le choix de la prediction retenue. 

Notons Ij. rimage de reference selectionnee. 

Le reste du codage de ces zones consiste en 2 etapes : 

- Une etape de prediction 

- Une etape de codage de Terreur de prediction ou de la texture originate 
25 en cas de mauvaise prediction 

3 J PrMiction rSsiduelle de la texture des zones d* occlusion 
3 modes peuvent 8tre utilises, de manidre exclusive. La decision est prise 
sur critere de moindre erreun 
Mode 1; 

30 Les valours Y, U et V d'un pixel de la zone sont simplement celle du pixel 



wo 02/060184 



14 



PCT/FR02/00322 



de meme localisation de Timage de reference 1^. Soit f, Timage resultante. On code 
alors Terreur de prediction entre % et II. 
Mode 2: 

Une estimation de mouvement est alors realisee entre \ (I'image a coder) et 
5 Ii (le resultat de la prediction du mode 1) sur la zone d'occultation. Le maillage 
resultant, issu du dernier niveau du maillage T^, r=k ou k+1, avant les 
recouvrements de mailles, est alors code ainsi que ses mouvements nodaux. Enfin, 
I'erreur residuelle de prediction est codec selon une procedure definie plus loin. 

Mode 3s 

10 On n'effectue aucune prediction et on code les valeurs originales des pixels 

de la zone. 

4. Codage de la texture ou de I'erreur de prediction sur les zones 
d'occultation . 

La texture originale et Terreur de prediction subissent le mSme codage, 
15 dont le principe est le suivant : 

On suppose qu'un maillage triangulaire initial a pu etre defini a partir du 
maillage de mouvement retenu pour la prediction de la zone a coder. La fagon 
de deriver ce maillage initial sera decrit plus loin. 

La texture est alors approximee sur chaque maille en f onction d'un choix: 
20 - Les mailles riches en hautes frequences sont codecs a base de 

transforaiee en cosinus discrete, dite DCT 
- Les mailles plus lisses sont codecs par un modele d'elements finis, 
affine. 

La encore, on va tirer parti d'une approche hierarchique pour diminuer le 
25 cout de codage de la representation par maillage, 

Uapproche retenue permet de conserver le faible cotit de codage associe a 
une hierarchic reguliere de mailles tout en permettant Tadaptation locale au 
contenu des images permise par la decomposition irreguliere de mailles. 

A partir du maillage initial grossier de la zone, les mailles sont subdivisees 
30 en 4 sous-mailles triangulaires jusqu'a un niveau donne. 
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Sur le dernier niveau, une permutation optionnelle des diagonales des 
quadrilateres engendres par 2 triangles adjacents peut Stre mise en oeuvre, si cela 
induit une baisse de Terreur ^approximation. 

4 J Initialisation du maillage de texture sur les zones d'occultation 
5 Ce maillage est simplement donne par le dernier niveau de Tr (maillage 

resultant du deplacement de ou T^+i selon le sens retenu) avant apparition des 
retournements sur la zone consideree. Ainsi, on a un maillage de texture qui 
s'insere de maniere naturelle dans le maillage mouvement, puisque extrait de ce 
dernier. 

10 4.2 Representations utilisees pour la texture sur les triangles 

2 representations sont combinees : I'interpolation affine at la DCT 
4triangulaire. 

Interpolation affine 

Les noeuds du maillage triangulaire portent Tinformation photometrique 

15 (couleur, eaeur) et Tinterpolation pour les points i I'interieur du triangle est 

effectuee par un element fini de Lagrange, egalement appele interpolation affine. 
La valeur v(^)du point p{x,y) interieur au triangle e,.^.^ defini par les 3 

noeuds PiJ- i^j\k est donnee par Tequation suivante : 

ou (I = i,j\ k) represente les coordonn6es barycentriques du point. 
20 v(p)peut Stre Tune des composantes photometriques Y, U ou V du point, 

ou encore Terreur de prediction pour ces composantes. 

Plusieurs methodes peuvent 8tre employees pour le calcul des valeurs 
nodales, en particulier la methode des moindres carres. 

Transformation en cosinus discrete (DCTl sur les triangles 
25 Le principe de la methode consiste a transformer un triangle quelconque 

en un triangle de reference isocele rectangle. Le contenu de ce triangle est alors 
symetrise par rapport a Thypotenuse pour donner une matrice carree symetrique 
(figure 4). 

Une DCT classique (carree) est alors appliquee k cette matrice. On peut 
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montrer que la matrice transformee est aussi symetrique. Seuls les coefficients de 
son triangle inferieur sent alors quantifies puis codes statistiquement (codage 
entropique). 

La figure 4 decrit les differentes etapes du processus : selection du triangle 
T, transformation affine de celui-ci en un triangle isocfele rectangle T'. Du fait de 
la transformation affine, les pixels du triangle ne sont plus situes sur une grille 
orthogonale reguliere, et il convient de re-echantillonner les valeurs 
photometriques de Tinterieur du triangle de reference. On utilise pour cela un 
processus analogue a celui d'une compensation de mouvement dans I'image (en 
I'occurrence la transformation affine), a I'aide d'un interpolateur, par exemple 
bilineaire. 

La transformation affine F et son inverse sont definies par les equations 
suivantes : 

X = (x2~Xi)(ki -y) + (yi -y2)(xi ~x) ^ 
p . I {^z-^d-^ {/a -yi ) + {y^ -/a) (^2 -^1) 

' \y = (^1 --y3) + (yi -y) + (y3-yi)(-yi -x) ^ 
(x3-xi)(K2-yi) + (yi -ysX^a-'^fi) 

^-1 .1 '^iV ^ ' ' N 

Les valeurs photometriques MC?, 7) du triangle T' (done du bloc M, 
symetrise de T*) sont obtenues par transformation inverse puis interpolation F 
de la texture de Timage a coder : 

ou : 

le coefficient M{iyyj\^) est la valeur au point Q(X,Y) dent le transf orme 
P(jc,;;)est F^\Q) 

Ir denote I'interpolateur utilise pour calculer la valeur de I'image au point, 

de coordonnees potentiellement non entieres. 

La reconstruction p de la texture F est donnee par : 
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ou denote la texture interpolee a partir des valeurs du bloc M' , version 
quantifiee de M. 

Cette technique ne peut Stre appliquee qu'aux seuls triangles d'aire non 
nuUe. Mais de tels triangles ne necessitent pas de codage de texture par definition. 
5 Contrairement a la SADCT (DCT adaptee a une forme), cette 

transformation ne garantit pas la reconstruction parfaite apres transformation 
inverse, meme en Tabsence de quantification. 

Afin de reduire I'erreur de reconstruction, un facteur d'echellea est 
introduit pour le calcul du bloc Mj (de taille N^xN^) pour chaque triangle i : 
10 N^^E^-JlA^) 

ou : 

• E est la partie entiere par exces, 

• Ai est Taire du triangle i. 

En fait, a = 1 realise un compromis interessant, qui est plus efficace pour 
15 les triangles proche d'un isocele. Le casa < 1 est utilise conjointement au pas de 
quantification pour comprimer le volume d'infonnation. 

Une fois le bloc Mi defini pour chaque triangle, une transformation DCT 
classique leur est appliquee, et les coefficients transformes sont quantifies selon 
plusieurs precedes possibles, par exemple une quantification scalaire uniforme, ou 
20 encore une quantification incrementale avec la frequence du coefficient 
transformee. L'emploi des matrices de quantification MPEG ou JPEG bien 
connues est egalement possible. 

L' expression de la DCT est donnee par : 



25 



M0 = 



12 = ' 



1 sinon 

On a la relation F(u,v) = F(v,u) car : 

fihjl = fU.O (yu^vj.j = 0,-",i\^-l) definition. 
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Par consequent, on pent se contenter de ne calculer qne les coefficients de 
la partie inferieure de la matrice transfomaee. 
4.3 codages global de texture 

Comme indique precedemment, on utilise un maillage hi6rarchique 
5 uniforme obtenu par division de chaque triangle d'un niveau donnd de la 
hierarchic en 4 sous-triangles, par insertion de noeuds au milieu des arcs. Le 
processus est repete iterativement jusqu'a un niveau maximal. Cette hierarchic de 
triangles est egalement representee et geree par le codeur sous forme d'un arbre 
quatemaire (figure 5). Notons que seuls.les triangles inclus dans la zone a coder 
10 sont pris en compte. Le precede de construction du maillj^e initial de base garanti 
que tout triangle de la hierarchie de maillage appartient a la zone a coder. 

Le processus de codage par maillage d'une zone d'occultation pent Stre 
resume de la maniere suivante : 

<3) un maillage hi6rarchique imbrique est defini sur la zone ^ coder, par 
15 creation d'un maillage initial regulier puis sub-division iterative des 

triangles en 4 sous-triangles par insertion de nouveaux noeuds au 
milieu des arcs. Les valeurs aux noeuds sont calculees pour 
minimiser I'erreur dapproximation de la zone par le maillage ; 
© les valeurs des pixels sont approchees par une interpolation affine 
20 sur le triangle les contenant a partir de ses valeurs aux noeuds. 

Pour chaque triangle de la hierarchie, on evalue alors I'erreur 
d'approximation E puis on decide des differents mode de representation et codage 
en fonction de 2 seuils : tTjCt cTa • 

® si E < , I'interpolation affine est suffisante sur le triangle ; 
25 © si ^ ^ ^2 ^ il faut utiliser une decomposition plus fine du 

triangle pour obtenir une bonne approximation, toujours par 
interpolation affine. 
® si EX72, le triangle est texture et on code Terreur d'interpolation 
affine en utilisant la DCT. 
30 Enfin, sur le maillage le plus fin, on teste la diminution d'erreur apportee 
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par la permutation de diagonale des quadrilateres formes par 2 triangles adjacents. 
En cas de resultat positif, on valide cette permutation. 

Selon les modes de codage choisis pour les diffdrents triangles, on code les 
differentes informations de la maniere suivantes 

Les valeurs nodales YUV sont d'abord predites a partir des valeurs des 
noeuds parents (extremites de Tare ou on a insere le noeud courant). La difference 
entre la valeur du noeud et sa valeur predite est alors quantifiee. 

Enfin, la structure de Farbre quatemaire (incluant les indicateurs de 
division ou non des triangles), les indicateurs de permutation de diagonales, les 
valeurs differentielles nodales de YUV et les coefficients DCT quantifiees sont 
codes par un codeur arithmetique et inseres dans le train binaire. 

5. R6snm6 des informations codecs dans le flux binaire des trames 
codees par maillage 

Chaque groupe de trames encodees en mode maillage entre Njj.+1 et N^+i-l 
(oil Nj, Nj,^.i sont respectivement la trame precedente et la trame suivante encodde 
en mode MPEG) est represente corame un tout dans le flux binaire. 

L' information vehiculee comprend, sous forme codec : 

Une entete pour I'ensemble du groupe de trames, incluant entre autres le 
nombre reel de trames encodees. 

Les maillages de mouvement (structure et vecteurs deplacement des 
noeuds) T\etT^fc+i. 

La texture d*erreur de prediction ou originale, pour chaque image du 
groupe. 

6. Structure globale du train binaire 

Le train binaire global consiste en une succession de trames encodees en 
mode MPEG, et de groupes de trames encodes en mode maillage, comme indiqu^ 
figure 8. 

L'entete globale du train binaire representatif de la sequence codee contient 
entre autres Tindication de codage hybride. 

La partie du train binaire correspondant a un groupe de trames codees en 
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mode maillage debute par une entSte indiquant entre autres le nombre de trame 
effectivement codecs, eventuellement nul, 

Les differents flux de donnees (trains binaires) correspondant 
respectivement a Tentete globale de la sequence codec, aux images encodees 
5 MPEG et aux groupes d'i images encodees en mode interpole par maillage 
peuvent etre envoyes sur differentes voies independantes si besoin. En particulier, 
le precede de codage permet le decodage hierarchique (ou scalable) de la 
sequence, c'est-a-dire un decodage n*utilisant qu'une partie du debit total. 

1. Processus de decodage 
10 La figure 9 donne une vue generale du principe du decodage. 

Tout d'abord, le decodage de Tentete permet d'activer le decodage hybride. 

Ensuite, le decodeur reconnait pour chaque partie du train binaire 
correspondant a une entite autonome s'il s'agit d'une trame encodee MPEG-4 ou 
d'un groupe de trames encodees par maillage. 
15 Les trames MPEG-4 sont foumies an module de decodage MPEG-4, et les 

groupes de trames codecs en mode maillage sont foumies au module de decodage 
par maillage. 

7. 1 Decodage base maillage 

Tout d'abord, les maillages de mouvement T\ et T^(k+i) pour le groupe 
20 d'images Ij, Nk<l<Ni,^.i sont decodes. 

Ensuite, les zones tfoccultation pour ces images sont retrouvees scion le 
m6me precede qu'au codeur. 

Les pixels en dehors des zones d'occultation sont simplement interpoles a 
partir des images et I^^+i et des champs de mouvement T\ et T^^y . 
25 Le maillage de texture le plus grossier (sommet de la hierarchic) est 

retrouve pour chaque zone d'occultation selon un procede identique a celui du 
codeur. 

L'information associee au maillage hierarchique correspondant (indicateur 
de division de triangles, decisions d'interpolation affine ou de codage DCT, valeur 
30 YUV nodale differentielles et coefficients DCT quantifies) est alors decodee et les 
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REVENDICATIONS 

!• Precede de codage d'images, caracterisd en ce qu'il met en oeuvre 
selectivement au moins deux modes de codage d'images, optimisant chacun la 
compression d'au moins une image d'une sequence video en fonction de criteres 
d' optimisation differents. 

2. Precede de codage selon la revendication 1, caracterise en ce 
qu'une information sur le choix d'un desdits modes de codage est connue d'un 
decodeur selon au moins une des techniques appartenant au groupe comprenant : 

choix predefini, connu au codage et au decodage ; 
information representative du choix incluse dans un flux de 
donnees comprenant au moins certaines des donnees 
d'images codees ; 

information representative du choix incluse dans un flux de 
donnees independant des donnees d'images codees ; 
determination du choix de fa§on intrinseque, par le 
decodeur. 

3. Procede de codage selon Tune quelconque des revendications 1 et 
2, caracterise en ce qu'il comprend une etape de selection d'un mode de codage a 
appliquer a ladite image, parmi au moins : 

un premier codage optimisant sensiblement une 
representation photometrique d'une image ; 
un second codage optimisant sensiblement une 
representation du mouvement entre au moins deux images. 

4. Procede de codage selon la revendication 3, caracterise en ce que 
ledit second codage tient compte d'au moins une image precedente et/ou au moins 
une image suivante codec k Taide dudit premier codage. 

5. Procede de codage selon la revendication 4, caracterise en ce que 
ledit second codage tient compte d'un champ de vecteurs mouvement calcule a 
partir de Timage immediatement precedente codec a Taide dudit premier codage 
et/ou d'un champ de vecteurs mouvement calcule a partir de Timage 
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irnmediatement suivante codec k Taide dudit premier codage. 

, 6. Precede de codage selon la revendication 5, caracterise en ce que 
ledit champ de vecteurs mouvement est applique a un maillage, 

7- Procede de codage selon Tune quelconque des revendications 5 et 
5 6, caracterise en ce que lesdits champs de vecteurs mouvement sont utilises pour 
determiner un champ de vecteurs mouvement deduit, associe a une image codee a 
Taide dudit second codage. 

8. Procede de codage selon Tune quelconque des revendications 5 a 7, 
caracterise en ce que ledit second codage met en oeuVre une estimation de 

10 mouvement avant, entre une image et une image suivante It2, et une etape de 
compensation de mouvement dans laquelle les vecteurs mouvement obtenus lors 
de ladite estimation de mouvement et ne conduisant a aucun retoumement sont 
ponderes par un scalaire k = m/(tl + t2), 0<k<l, de fagon a interpoler au moins 
une image Iml, m appartenant h [tl, t2]. 

15 9. Procede de codage selon Tune quelconque des revendications 5 a 7, 

caracterise en ce que ledit second codage met en oeuvre une estimation de 
mouvement arriere, entre une image 1^2 et une image precedente Iti, et une etape de 
compensation de mouvement dans laquelle les vecteurs mouvement obtenus lors 
de ladite estimation de mouvement et ne conduisant a aucun retoumement sont 

20 ponderes par un scalaire k' = l-m/(tl + t2), 0<k'<l, de fagon a interpoler au 
moins une image Im2, m appartenant h [tl, t2]. 

10. Procede de codage selon les revendications 8 et 9, caracterise en ce 
qu'il met en oeuvre une estimation arriere et une estimation avant, de fa9on a 
obtenir une image estimee Im valant Im = aEl+(l-a)E2 avec 0<a<l. 

25 !!• Procede de codage selon Tune quelconque des revendications 3 a 

10, caracterise en ce que ladite etape de selection repose sur la noise en oeuvre d'un 
sous-echantillonnage de facteur fixe N, une image sur N etant codee a I'aide dudit 
premier codage. 

12. Procede de codage selon la revendication 11, caracterise en ce que 
30 N est superieur a 2. 
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13. Precede de codage selon Tune quelconque des revendications 11 et 
12, caracterise en ce que N est variable. 

14. Precede de codage selon I'une quelconque des revendications 3 a 
11, caracterise en ce que ledit premier codage met en oeuvre une transformation 

5 sur des blocs d'images et une prediction temporelle par blocs. 

15. Procede de codage selon la revendication 14, caracterise en ce que 
ledit premier codage est un codage MPEG-4 ou H26L. 

16. Procede de codage selon la revendication 115, caracterise en ce que 
les images delivrees par ledit codage MPEG-4 ou H26L comprennent des images 

10 de type I (intra) et/ou de type P (predictif). 

17. Procede de codage selon Tune quelconque des revendications 3 a 
16, caracterise en ce que ledit second codage repose sur la nndse en oeuvre d'un 
maillage hierarchique de M niveaux, M etant superieur ou egal a 1. 

18. Procede de codage selon la revendication 17, caracterise en ce que 
15 ledit maillage est triangulaire. 

19. Procede de codage selon Tune quelconque des revendications 17 et 

18, caracterise en ce qu'il comprend une etape de gestion des zones d'occlusions. 

20. Procede de codage selon Tune quelconque des revendications 1 a 

19, caracterise en ce qu'il produit au moins deux flux de donnees, pouvant etre 
20 transmis sur des voies de transmission independantes. 

21. Procede de codage selon la revendication 20, caracterise en ce que 
lesdits flux de donnees appartiennent au groupe comprenant : 

une entete globale ; 

des donnees d'image codecs selon ledit premier codage ; 
25 - des donnees d'image codecs selon ledit second codage. 

22. Procede de decodage d'un signal d'images code a Taide du procede 
de codage de Tune quelconque des revendications 1 a 21. 

23. Dispositif de codage d'un signal d'images code a I'aide du procede 
de codage de Tune quelconque des revendications 1 a 21. 

30 24. Dispositif de decodage d'un signal d'images code a Taide du 
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precede de codage de Tune quelconque des revendications 1 a 21, 

25. Dispositif de decodage selon la revendication 24, caracterise en ce 
qu'il comprend des moyens de determination d*au moins une partie dnn champ de 
vecteurs et/ou d'au moins une partie des zones d'occlusion, similaires a ceux mis 

5 en oeuvre lors du codage. 

26. Dispositif de stockage d'au moins un signal d'images code a Taide 
du procede de codage de Tune quelconque des revendications 1 a 21. 

27. Systeme de codage, de transmission et/ou de decodage d'un signal 
d'images code a I'aide du procede de codage de Tune quelconque des 

10 revendications 1 a 17. 

28. Systeme selon la revendication 27, caracterise en ce qu'une 
information sur le choix d'un desdits modes de codage est connue d'un decodeur 
selon au moins une des techniques appartenant au groupe comprenant : 

choix predefini, connu au codage et au decodage ; 
15 - information representative du choix incluse dans un flux de 

donnees comprenant au moins certaines des donnees 
d'images codees ; 

information representative du choix incluse dans un flux de 
donnees independant des donnees d'images codees ; 
20 - . - determination du choix de fagon intrinseque, par le 

decodeur. 

29. Produit progranmie d'ordinateur pour le codage et/ou le decodage 
d'un signal d'images code a I'aide du procede de codage de I'une quelconque des 
revendications 1 a 21. 

25 30. Support de donnees portant un progranome d'ordinateur pour le 

codage et/ou le decodage d'un signal d'images code h I'aide du procede de codage 
de Tune quelconque des revendications 1 a 21.31. Signal de donnees d'images, 
caracterise en ce qu'il comprend des donnees codees selon le procede de Tune 
quelconque des revendications 1 a 21. 

30 32. Signal selon la revendication 31, caracterise en ce qu'au moins un 
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indicateur indiquant si le precede selon Tune quelconque des revendications 1 a 21 
est ou non active. 

33. Signal selon Tune quelconque des revendications 31 et 32, 
caracterise en ce qu'il comprend une donnee precisant la structure des trames, en 

5 debut de sequence video et/ou dans chaque trame de signal. 

34. Signal selon I'une quelconque des revendications 31 a 33, 
caracterise en ce qu'une sequence codec a I'aide dudit second codage debute par 
une entgte precisant le nombre de trames codecs selon ce second codage. 

35. Signal selon Tune quelconque des revendications 31 a 34, 
10 caracterise en ce qu'il comprend au moins deux flux de donnees, pouvant etre 

transmis sur des voies de transnadssion independantes. 

36. Signal selon la revendication 35, caracterise en ce que lesdits flux 
de donnees appartiennent au groupe comprenant : 

une entSte globale ; 

15 - des donnees d'iimge codees selon ledit premier codage ; 

des donnees d'image codees selon ledit second codage. 

37. Application du precede de codage selon Tune quelconque des 
revendications 1 a 21 a au moins un des domaines appartenant au groupe 
comprenant : 

20 - la television numerique ; 

la video temps reel sur reseau IP ; 

la video temps reel sur reseau vers les mobiles ; 

le stockage de donnees d'images. 
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